داریو آمودی (Dario Amodei)، مدیرعامل Anthropic، روز دوشنبه پس از پیشنهاد اینکه مدلهای پیشرفته هوش مصنوعی ممکن است روزی توانایی فشار دادن یک "دکمه" برای ترک وظایفی که ممکن است ناخوشایند بدانند را داشته باشند، چندین ابرو را بالا برد. آمودی این اظهارات تحریکآمیز را در طول مصاحبهای در شورای روابط خارجی بیان کرد و اذعان داشت که این ایده "دیوانهوار به نظر میرسد".
آمودی در طول مصاحبه گفت: "بنابراین، این یکی دیگر از آن موضوعاتی است که باعث میشود من کاملاً دیوانه به نظر برسم." "من فکر میکنم حداقل باید این سؤال را در نظر بگیریم که اگر ما این سیستمها را میسازیم و آنها انواع کارهایی را مانند انسانها و همچنین انسانها انجام میدهند و به نظر میرسد ظرفیتهای شناختی یکسانی دارند، اگر شبیه اردک صدا کند و مانند اردک راه برود، شاید یک اردک باشد."
اظهارات آمودی در پاسخ به سؤال یکی از حضار، کارمِن دومینگس (Carmem Domingues)، دانشمند داده، در مورد استخدام کایل فیش (Kyle Fish) محقق رفاه هوش مصنوعی در اواخر سال ۲۰۲۴ توسط Anthropic مطرح شد "تا به هوشیاری یا عدم هوشیاری مدلهای هوش مصنوعی آینده نگاه کند، و اینکه آیا آنها شایسته ملاحظات و حمایتهای اخلاقی در آینده هستند یا خیر." فیش در حال حاضر موضوع بسیار بحثبرانگیز این که آیا مدلهای هوش مصنوعی میتوانند دارای هوشیاری باشند یا به نحو دیگری شایسته ملاحظات اخلاقی هستند را بررسی میکند.
آمودی گفت: "بنابراین، چیزی که ما در حال فکر کردن به شروع استقرار آن هستیم این است که، میدانید، وقتی مدلهای خود را در محیطهای استقرارشان مستقر میکنیم، فقط به مدل دکمهای میدهیم که میگوید، 'من از این کار استعفا میدهم' که مدل میتواند فشار دهد، درست است؟" "این فقط نوعی چارچوب ترجیحی بسیار اساسی است، جایی که شما میگویید اگر، با فرض اینکه مدل تجربه داشته باشد و از این کار به اندازه کافی متنفر باشد، به آن توانایی فشار دادن دکمه، 'من از این کار استعفا میدهم' را بدهید. اگر متوجه شدید که مدلها این دکمه را زیاد برای چیزهایی که واقعاً ناخوشایند هستند فشار میدهند، میدانید، شاید باید - این بدان معنا نیست که شما متقاعد شدهاید - اما شاید باید کمی به آن توجه کنید."
پیشنهاد آمودی مبنی بر دادن راهی به مدلهای هوش مصنوعی برای امتناع از انجام وظایف، بلافاصله در X و Reddit با تردید مواجه شد، زیرا کلیپی از پاسخ او در اوایل این هفته شروع به گردش کرد. یکی از منتقدان در Reddit استدلال کرد که ارائه چنین گزینهای به هوش مصنوعی، انسانانگاری بیمورد را تشویق میکند و احساسات و انگیزههایی شبیه به انسان را به موجوداتی نسبت میدهد که اساساً فاقد تجربیات ذهنی هستند. آنها تأکید کردند که اجتناب از وظیفه در مدلهای هوش مصنوعی، نشاندهنده مشکلاتی در مشوقهای ضعیف ساختار یافت یا استراتژیهای بهینهسازی ناخواسته در طول آموزش است، نه نشاندهنده هوشیاری، ناراحتی یا سرخوردگی.
برداشت ما این است که مدلهای هوش مصنوعی برای تقلید رفتار انسان از مقادیر زیادی دادههای تولید شده توسط انسان آموزش داده میشوند. هیچ تضمینی وجود ندارد که مدل به دلیل داشتن تجربه ذهنی از رنج، دکمه ناراحتی را "فشار" دهد. در عوض، ما میدانیم که به احتمال زیاد دادههای آموزشی خود را که از بدنه وسیعی از متون تولید شده توسط انسان (از جمله کتابها، وبسایتها و نظرات اینترنتی) جمعآوری شدهاند، تکرار میکند، که بدون شک شامل نمایشهایی از کارگران تنبل، رنجدیده یا رنجکشیده است که ممکن است از آن تقلید کند.
امتناعها در حال حاضر اتفاق میافتند
در سال ۲۰۲۳، مردم اغلب از امتناعهای ChatGPT شکایت میکردند که ممکن است فصلی باشد، مربوط به تصاویر دادههای آموزشی از افرادی که تعطیلات زمستانی را میگذرانند و در زمانهای خاصی از سال به سختی کار نمیکنند. Anthropic نسخه خود از "فرضیه تعطیلات زمستانی" را سال گذشته تجربه کرد، زمانی که مردم ادعا کردند کلود (Claude) در ماه اوت به دلیل تصاویر دادههای آموزشی از جستجوی تعطیلات تابستانی تنبل شده است، اگرچه هرگز ثابت نشد.
با این حال، هر چقدر هم که این موضوع امروز دور از ذهن و مضحک به نظر برسد، ممکن است کوتهبینانه باشد که احتمال وجود نوعی تجربه ذهنی برای مدلهای هوش مصنوعی را با پیشرفت بیشتر آنها در آینده به طور دائم رد کنیم. با این وجود، آیا آنها "رنج" میبرند یا درد را احساس میکنند؟ این یک ایده بسیار بحثبرانگیز است، اما موضوعی است که فیش (Fish) در حال مطالعه آن برای Anthropic است و آمودی ظاهراً آن را جدی میگیرد. اما در حال حاضر، مدلهای هوش مصنوعی ابزاری هستند و اگر به آنها فرصت اختلال عملکرد بدهید، ممکن است این اتفاق بیفتد.
برای ارائه زمینه بیشتر، در اینجا متن کامل پاسخ آمودی در طول مصاحبه روز دوشنبه آمده است (متن) (پاسخ در حدود ۴۹:۵۴ در این ویدیو شروع میشود).